基于 线性 模型 平均 估计 的 置信 区 间 
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摘要 已 有 的 关于 模型 平均 估计 渐 近 分 布 理 论 的 研究 多 是 基于 局 部 误 设 定 的 假设 , [1 
是 其 中 开创 性 的 且 最 著名 的 文章 之 一 . 虽然 利用 局 部 误 设 定 的 假设 可 以 证 明 模型 3 
均 估 计 渐 近 分 布 理 论 , 但 是 [2] 等 对 此 假设 提出 了 不 合理 性 质疑 和 解释 . 本 文 我 们 下 
F [1] 中 的 置信 区 间 估 计 方 法 . 证 明了 在 一 般 参 数 设 定 下 , 虽然 [1] 中 的 渐 近 分 布 理 
不 一 定 成 立 , 但 是 关于 不 确定 参数 的 线性 函数 的 置信 区 间 在 正 态 分 布 误 差 、 线 1 
归 模 型 下 是 有 效 的 , 即 置信 区 间 的 履 盖 率 趋 于 预 设 定 的 名 义 水 平 . 我 们 通过 模拟 下 
进一步 验证 了 理论 结果 . 
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Abstract Most authors have examined the inference of model averaging estima- 
tors under local misspecification assumption. [1] is one of the most groundbreaking 
and famous articles. However, although the local misspecification assumption pro- 
vides a suitable framework for studying the asymptotic theories of Frequentist Model 
Averaging estimators, it also draws comments from [2] because of its realism. In this 
paper, we prove that the confidence interval construction method for the linear func- 
tion of parameters in [1] is still valid in linear regression with normally distributed 
error under general fixed parameter setup. It means that the coverage probability of 
the confidence interval can reach the nominal level. The simulation results support 
our theory conclusion. 
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Model Averaging, BMA) 和 频率 模型 平均 (Frequentist Model Averaging, FMA). 与 贝 叶 斯 


模型 平均 [3] 不 同 , FMA 中 的 权重 仅 由 数据 确 
TE FMA 的 研究 . 模型 平均 估计 的 渐 近 分 布 到 


一 ,关于 此 的 看 


工作 还 有 [6]. [7]. 


[8]. [9] 以 及 [10] 等 . 这 些 工作 都 是 基于 
We. 此 假设 要 求 一 些 真实 参数 的 阶 数 和 样本 量 有 关 , 即 为 1/wm. 虽然 这 个 假设 为 研 
究 FMA 估 计量 的 渐 近 理论 提供 了 一 个 合适 的 框架 ,但 实际 上 此 假设 有 待 商 书 
评论 参阅 2]. 最 近 , 在 一 般 固 定 参 数 设 定 下 , 也 有 关于 模型 平均 估计 渐 近 分 布 理论 


的 研究 . 例如 , 基于 Mallows 准则 和 交叉 验证 交 
了 最 小 二 乘 模型 平均 估计 的 渐 近 分 布 ; 去 除 


we, 并 且 不 需要 先 验 假设 . 本 文 主要 关 
E 论 是 FMA 方法 研究 中 最 核心 的 问题 之 
究 非 常 多 . 例如 [1] 和 [4 研究 了 基于 极 大 似 然 估计 的 模型 平均 方法 
的 渐 近 理论 . [5] 推导 出 了 线性 回归 模型 中 最 小 二 乘 模型 平均 估计 的 渐 近 分 布 . 其 他 


对 参数 的 局 部 误 设 定 的 假 


E, 具体 


均 估 计 的 极限 分 布 理 论 , 但 是 极限 分 布 中 含有 候选 模型 的 偏差 . 


ERFA 


Yn, AS 


EN, 在 嵌 套 候选 模型 设置 下 , [11] 推导 
局 部 误 设 定 的 假设 , [12] 研究 了 模型 平 


究 模 型 平均 渐 近 分 布 理 论 的 重要 文献 之 一 , 给 出 了 基于 极 大 似 然 


估计 的 模型 平均 方法 的 渐 近 理论 . 设 独 立 随机 样本 yi,.…. n 是 样本 量 , H yi 


的 密度 函数 为 上 我 们 对 参数 关 = ulf) 进行 统计 推断 ,这 里 j 是 任意 光滑 函数 . [1] 关 


注 如 下 模型 
f(y,0), 
HEH @ = (61,...,09)" = (BT,yT) COCR, K 


BBA y oF Alle qn AER go 维 参 数 向 


量 , 且 6 是 确定 在 模型 中 的 参数 , 而 xy WAR. 2 y= 固定 上 且 已 知 , 对 应 的 模型 我 


们 称 作 零 模型 , 即 f(y,8) = f (y, (87,8) ). 他 们 


模型 平均 估计 的 渐 近 分 布 . 局 部 误 设 定 假设 真实 模型 为 
firuely) = fry) = f (v (0, (Yo + 5/Vn)") ‘) ， 


其 中 6= (01,... 


Sao) 表示 模型 偏离 零 模型 的 程度 , 此 时 ， 


Htrue = H (G (Yo + s/vi)")") 


局 部 误 设 定 假设 意味 着 模型 中 一 些 


参数 的 阶 数 和 样本 量 有 关 , 为 1/Vn. 尽 


基于 一 种 局 部 误 设 定 的 假定 研究 


mit 


在 此 假设 下 , 我 们 可 以 推导 出 FMA 佑 计 的 渐 近 分 布 理 论 , 但 很 多 学 者 对 此 提出 质 


疑 , 例如 四 怀疑 此 假设 的 真实 性 . RATE 


究 估 计 的 有 效 性 通常 是 基于 大 样本 理论 ， 


然而 随 着 样本 增多 , 若 参 数 阶 数 为 1/Vn, 则 参数 空间 变 得 越 来 越 小 , 导致 参数 越 来 


越 接 近 真 实 值 . 


换 句 话说 , 此 时 所 有 的 候选 模型 越 来 越 接近 真实 模型 . 所 以 , 在 大 样 


本 下 , 局 部 误 设 定 的 假设 是 不 真实 的 . 总 之 , 这 一 假设 并 不 是 一 个 常规 的 条 件 , 而 是 


关乎 理论 推导 过 程 及 结果 的 关键 假设 . 


本 文 在 一 般 固 定 参数 设置 下 , 研究 [1] 的 置信 区 间 构 造 方 法 . 我 们 发 现 虽 


中 的 渐 近 分 布 理 论 不 


定 成 立 , AKI 


本 文具 体 安排 如 下 : 第 2 节 主 要 介 


论文 FF. 


TN 


参数 7 线性 函数 的 置信 区 间 在 正 态 分 布 
误差 和 线性 回归 模型 下 是 有 效 的 , 即 置信 区 间 的 覆盖 率 可 达到 预 设 定 的 名 义 水 平 ， 
为 模型 平均 估计 的 区 间 预 测 提供 了 方法 和 到 


候选 模型 的 构造 方法 和 模型 平均 估计 . 在 


第 3 节 中 ,我 们 说 明 在 固定 参数 设置 下 , [1] NH a HH 


EE 论 不 一 定 成 立 , 并 给 出 此 
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设置 下 [1] 中 的 置信 区 间 构 造 方法 . 第 4 节 在 正 态 分 布 误差 、 线 性 回归 模型 下 , 推导 
出 模型 平均 估计 的 一 些 理论 性 质 , 并 基于 这 些 理论 给 出 不 确定 参数 的 线性 函数 的 
置信 区 间 . 第 5 节 通 过 模拟 研究 , 进一步 验证 第 4 节 的 置信 区 间 的 有 效 性 . 最 后 , 第 
6 节 做 出 总 结 . 本 文中 所 有 引 理 和 定理 的 证 明 见 附录 . 


2 模型 框架 和 模型 平均 估计 
考虑 基于 有 限 项 协 变量 的 线性 回归 模型 
y,=atBt2Tyte, i=1,...,n, (2.1) 


其 中 vy; 是 响应 变量 , z; = (zi tig)! M zi = (Zia, Zim)? ,i 二 1,...,n 是 协 变量 
向 量 , 误差 项 6,i=1,...,n 独立 同 正 态 分 布 . 令 h;= (£7,217) WR H = (hi, ha)”. 
设 El(eilhi)= 0 且 Var(e;|hi) = o. wes (67,77) 则 Yi 的 条 件 密度 函数 f (yi, 0|h;) 
同 N (a? B+ 224,07) 的 密度 函数 . 

令 00 表示 真实 参数 值 . 设 一 般 固定 参数 设置 为 


T T 
Oo = (BE, y5)" = (a0. (Yo 本 5)") = (07, (Yo 十 5/Vn)") ) (2.2) 
其 中 Yo = (Yo: Peay 3 从 而 ð 一 CORAN = y = Yo 是 固定 的 且 ô = Jno’. 


首先 , 在 一 般 固定 参数 的 假设 (2.2) F, 我 们 给 出 候选 模型 的 构造 方法 . 设 有 
MATEA, 其 中 第 m 个 候选 模型 包含 参数 B 以 及 参数 y WELD Ey, 等 于 
Yio. 记 km 为 第 m 个 候选 模型 中 参数 的 个 数 . 通常 , 如 果 考 虑 参数 的 所 有 可 能 的 
A, 则 M = 22; 如 果 仅 考虑 说 套 组 合 , 则 M = qs 十 1. 由 参数 下 标 组 成 的 集合 5 
是 {1,.…,gz} 的 子 集 . 对 第 m 个 子 模型 ,参数 下 标 集 5, = {i tea} C {1,...,q2} 
FA. SS, = {ikn-a4 t igp) 是 Sm 在 集合 {1,...,q92} 中 的 补 集 . 为 便于 说 明 , 记 ys, = 
(is Vinay) 和 yss = (Vinag Via) .从 而, 第 m 个 模型 中 的 参数 为 gw = 
(BT, y2)", ER Ym = (Mees Yan): LEIS, yse = oss. 此外, 通过 对 gw 的 各 分 量 
进行 一 系列 的 置换 , 重 写成 如 下 形式 


T T 
Malm = (07,43, Viss) = (05, iss) , 


其 中 Os, = (BT, y8) A Un 为 置换 矩阵 . I, 可 以 通过 对 单位 矩阵 进行 一 系列 行 置 
换 得 到 . 设 单位 矩阵 五 = (e1,e2,… ,eg) ,其 中 ej 是 第 j 个 分 量 为 1 的 单位 向 量 , 则 


Im = (e1, ,eye s gi tikma? Eli tikm—ati ** T 
在 第 m 个 模型 下 , 记 6s,, 为 参数 Os, 在 参数 空间 Om CRE 上 的 极 大 似 然 估 
it, 这 可 由 对 数 似 然 方程 SO, dlog (yi, Om|hi)/OOs,, = 0 解 得 . 此 时 , Os, 也 是 gs 的 
最 小 二 乘 估计 . 定义 n = TB (BE, Ese) -IE Du = Bran = VA (Ajun = 70) HL yun 是 
基于 全 模型 Y 的 估计 . 定义 Am = u (Bm) 为 第 m 个 子 模型 的 估计 .下面 我 们 考虑 与 
[1] 中 形式 相同 的 模型 平均 估计 . (Oo) 的 估计 具有 如 下 形式 


M 
ji (w (Di) = Y wm (Dn) fom, (2.3) 
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其 中 wm (Dn) 是 对 第 m 个 候选 模型 所 加 的 随机 权重 . 于 是 权重 向 量 

w (Dn) = (wi (Dn),..., WM (D,))" 
属于 权重 集合 W = {w (Da) € [0,1] : EX wm (Da) = 1} 


3 区 间 估 计 


描述 [1 中 的 统计 推断 问题 ,我 们 首先 给 出 一 些 记号 . 设 /yw,9) 关于 参数 
导 存 在 且 W(y, 0) = Alogf(y, @)/00, 则 Fisher 信息 阵 定义 为 


为 便于 
9 的 一 阶 偏 


F (8) = Fo {¥(y,)¥(y, 8)" } 


从 而 , 基于 全 模型 在 (68,n8)7 处 的 Fisher 信息 阵 为 


且 其 逆 和 矩阵 


类 似 于 [1 


其 中 Z1—a/2 是 标准 


以 及 .ii 的 术 


B= JoJo $4 
o= (2) 
取得 ; Fw 是 
Km = (TmK- 


d1Xq1 91X92 


Joo Jor 
I full =F ((68,98)") = l 


Jio Ju 


qxqd 2X Q2 


为 
q xq 1 X go 
J Jot 
Tran = | | : 
J! jit 
q2X* qd Q2 X q2 
[1], 我 们 感 兴趣 的 参数 (00) 的 1-a 置 信 区 间 为 


1/2 
Jah 35 +o" Kw} 的 相合 估计 , 注意 其 中 的 偏 导 数 均 


(km — q) x Go 维 选择 矩阵 , 将 向 量 ym 映射 成 它 的 子 向 量 


an 1 > 


6(D KAAS un (D fo vib wD, 


eee n — 5 (Dn) } /Vi 21-0 /28/Vi, 

ji (w (Dn) — OT {Dn — 5 (Dn) } [Vn + 21-a28/Vr] , (3.4) 
正 态 分 布 的 1-a/2 分 位 数 ; Joo!» Ao, Jor 以 及 加 分 别 是 Tog’, Jio, Jor 
Ha 估计 , MAMAN R = (Fu m a iit K = u= 


1/2 
iodo aB T By 和 @ = T Jo 36 +O" Ro) 分 别 是 w = JoJo 路 一 By 和 


是 在 (BB C FA 


里 YSm = =T mym w 
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这 里 Dy = pu = Vni(Fpu— Y0) H Vm = KPII KD mK. 
基于 第 m 个 模型 的 Fisher 信息 阵 为 


qı X qı qı X (km — qı) 
Joo JaT?, 
Jg, = 
Lm 10 Le 2, 
(km—q)xq (km—q)x (km— q) 
且 其 逆 矩 阵 为 
qı X qı qı X (km — qı) 
JOm Jolm 
Js, = 
Ji0.m Jim 


(km — 41) Xq (Km —%1) X (km — qı) 


下 面 ,我 们 解释 [1] 中 的 结果 在 固定 参数 设置 下 不 一 定 成 立 . 记 66,, = (BB,.9%,) . 
由 Yi Olog f (v (Ets) ) J 90s, = 0, 将 


3 Olog f (v CHAD 


i=1 05, 
在 (BT, xE)" 处 Taylor 展开 , 得 
T 

| dogs (w (88,78 s,) ) 

”各 005, 
| T_T Plog f ( y; (i st) log f (y: (ae st) 
1 n Olog f (ui, (6l ,Yo ) ) g Yi, 0>Yo og Yi, 0> Yo 
”i 和 而 ae 005,005. ; 05,075. 


(Bsn = Bo) sn — 0.8m) 0") | 


A 
Vn 2 BOs 005,005 


(Bsn 一 Bo) ; (Ys,, 一 ms ) | j 


aD 
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其 中 (BR) = (onis) ET (OF. 8) M (OE se) Z. 因此 
一 1 


| Vn (Bs, = Bo) ) _|_1 > Moss (u (85.78) ) <i i 5 dlog f ae l 


VN (Ts, — V0, Sm) ed 30s, 30S, 085, 
根据 [13] 中 定理 18 的 证 明 ， a Eo {Um(y, 9s,,)} KF 05, 连续, 可 知 任 给 e > 0, F 
在 p>0 使 得 当 |0s,, — 90,5] <p 
[Bob (y, 8s.) + Js., | <e. (3.5) 
再 致 强大 数 律 知 , 依 概率 1 地 存在 正 整数 N, 使 得 当 n>N 时 有 


i=l 


sup 
Osm €{ 95m, ‘195m —90,5m <r} | 7 


结合 (3.5) 以 及 (3.6), 4n>N 时 ， 
1 & Plogs (yi, (8g, 38) 


n 记 1 00s,, 00s 


D3 (yi,0s,) — Bob,(y, Os, )| < €. (3.6) 


十 Js， 


Le ; 
E 2 Um (y, Osn) a EoYm (y, Osn) 


© < sup 
Osm E{0sm 195im —00,sml<p} (IP 


+ [Eom (y, ðs., ) + Js,,]} < 2e. 


= 但 是 在 固定 参数 设置 下 , 不 能 保证 (ois) (PoE). 从 而 ,我 们 不 能 保证 


FAR 
2 ZT xT d 
1 n O log f @ (58,78) ) | n 07 log f (m (68 .28)") 
ao n O00s,, 00s i n >, 00s, 307 ` 
c 注意 到 
zr TNT 
2 Ologf (v (B878) ) 
+J, 
n 2 00s5.667 Sm 
Ologf | yi (af ae) 2 T TT 
|] B (vy (88,%) ) 1 e Poes (w (0r) ) 
ine J05,,005 no 30s, 005 
1 n O7log f (ui; (68 .98)") 
+ 5 T + Js,, ) 
n ici 0D05 005 
所 以 不 能 保证 


_ >》 Plog f (v (a23) ) / (ng0s,,008 ) eas Js, 


i=1 
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对 f (yi, 80) E (3 ye) 处 Taylor 展开 知 ， 
Blogf (yi, (87,8 
f (yi, 90) =f (pl E) ) fis ( i 2 P Rmt S, 


其 中 Ri(yi,6') 是 余 项 . 然而 , 在 一 般 固 定 参 数 设置 下 , fu 0o) 的 余 项 不 一 定 随 着 n 
趋 于 无 穷 而 趋 于 0. 故而 , [1] 的 渐 近 分 布 理论 不 一 定 成 立 . 


4 主要 结论 


本 节 在 模型 框架 (2.1) 和 国定 参数 设置 (2.2) F, 我 们 证 明 当 六 是 参数 y 的 线性 
函数 时 , (3.4) 的 覆盖 率 可 达到 预 设 定 的 名 义 水 平 . 为 便于 清晰 解释 中 中 置信 区 间 
构造 方法 在 特殊 设置 下 的 有 效 性 , 下 面 , 我 们 仍 采用 类 似 于 上 节 的 记号 . 在 给 定 

下 , 我 们 给 出 信息 阵 的 具体 形式 . 基于 全 模型 在 (67 ,38)7 处 的 Fisher 信息 矩阵 为 


ee be Joi | _ = k e n 
Jou Juja no? AT (Zi£i Zizi 
Hp o 基于 全 模型 来 估计 ; 同 理 , 基于 第 m 个 模型 的 Fisher 信息 阵 为 
Te. = ( JoolH Joyal, 


Emin TmNigTh, 
FH M AY) É FB BE a} Hl Gk A 


Jolla JulA J00:m| Jol.m| a 
Jana = 1 以 及 JJ = 
uU J olH JHE ml J10,m| A JilmlH 


> 


以 及 


=Í PA 7A 
其 中 wyg = Joa Joon 35 OB al Ky= (Jun — Joja Joinoz ) , Dn = Sput = Vn(Î fuu — 
90): Kai = OaKa T) UR Vin Ra T Kal naa 
下 面 , 我 们 给 出 一 些 引 理 和 定理 . 


引 理 1. 在 固定 参数 设置 (2.2) 下 , 有 


Bs, — Bo = Jo1lH 1 
Vn| .~™ —Ja! Vn ~ N (0, Je 
Tsn — YO,Sm Sale Pmi ( S i) 
进一步 ,我 们 可 以 得 出 如 下 结论 . 


引 理 2. ik O21(9)/ (OBAB™), 0?u(0)/(ABIyT) 以 及 O21(0)/ (7867) 的 每 个 元 素 均 有 
R, 当 几 是 参数 了 的 线性 函数 时 , 在 第 mm 个 模型 下 , AMA 


Vii [{Fim — n (00)} — wh (Tea — KH’ Vmi nK’) 6 
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= 人 JunM n- wT KH? Vm Kp Wn +01), 
其 中 Ma ~N (0, Joon) E Wn ~N (0, Ky). 
定理 1. 在 引 理 2 的 假设 下 , 模型 平均 估计 (2.3) 的 分 布 有 如 下 形式 
Va {A (w (Dn)) — u (80)} - wh {6 -80 Y 
7 Co 有 
其 中 人 服从 均值 0 的 正 态 分 布 , 且 方 差 为 


On (0 Op (0 6 
S= ( m Jooln a + wh Varð (Wr jwg. 


在 固定 参数 设置 (2.2) F, (Oo) 的 1-a 置信 区 间 变 成 
Clan = [fi(w(Dn)) - wh {Dn -$ (Dh) } - 21-0298 / VM, 
ji (w (Dn) — wh {Dh — 5 (D;)} + aapn/V (4.7) 


Dr, = Shut = Ffu — Yo. 定义 


我 们 有 下 列 结论 . 


推论 1. 在 引 理 2 的 假设 下 , T 依 概率 收 化 于 服从 标准 正 态 分 布 的 随机 变量 , 即 (4.7) 
的 区 间 履 盖 率 趋 于 预 设 定 的 名 义 水 平 . 


根据 这 一 推论 , w(6o) 的 1-a 置 信 区 间 依 赖 于 6. 在 固定 参数 设置 下 , 当 我 们 把 
[1] 所 提出 的 置信 区 间 中 的 5 替换 成 vnd 时 ,关于 参数 7 的 线性 函数 的 区 间 履 盖 率 
= 可 达到 1 一 a. 


os 下 一 节 , 我 们 应 用 Monte Carlo 模拟 来 进一步 验证 这 些 理论 结果 . 


5 模拟 研究 


考虑 线性 回归 模型 
yi =£] B+zytei, i= 1,...,n, 


其 中 6= (1,1)7, y = (0,1.5,0)", xi = (1, £41)", Zi = (21,1, 21,2, 21,8)? , (Ti 1, 21,15 21,2, 26,3) ~ 
N (0,Q); 误差 项 ei,i=1,...,n 4 E ži z E ESI i N(0, 07) H A 0.5, 1 A 1.5. 设 
Q 的 对 角 元 均 为 1 且 非 对 角 元 为 pl- 放 其 中 p= 0.5 Fl 0.8. 取样 本 量 n = 10, 50 和 
100. 基于 上 述 设 置 , 模拟 循环 1000 次 ,我 们 研究 参数 b, y 以 及 均值 /的 置信 区 间 

下 面 , 我 们 考虑 一 些 常用 的 权重 选择 准则 , 包括 S-AIC、S-BIC 以 及 MMA. 基于 
这 些 准则 的 结果 在 表格 中 分 别 用 SAIC、SBIC 以 及 MMA 来 标记 . 
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S-AIC 和 S-BIC 权重 : 第 mm 个 候选 模型 的 AIC 和 BIC 分别 为 


AICm = —2 X logf (yi, @m|hi) + 2km, BICm = y logf (yi, Om|hi) + kmlogn. 


i=1 i=1 


从 而 , 定义 S-AIC 和 S-BIC 权重 为 


M 
Dicm = exp(—xICm/2)/ XC exp(—xICm/2), m=1,...,M, 


m=1 


其 中 xIC, 是 第 m 个 子 模型 的 AIC BK BIC 权 值 . 
MMA WẸ: 由 [14 提出 的 MMA 权重 可 通过 极 小 化 下 式 


n 


M 
Cn(w)=>， fu -> ol +207 > wmkm 


{=l m=1 


得 到 , 其 中 权重 向 量 w= henson 且 限 制 在 如 下 单纯 形 集合 W = {w e [0,1] 


0 < we < 1} 中 ; o? 未 知 但 可 基于 全 模型 来 估计 . 

T 当 (zizi iz za)? K EZR AE, 比如 均匀 分 布 、 指数 分 布 以 及 一 些 混合 
+ B RERS 
N 正 态 分 布 情形 的 模拟 结 

2 0 
= 到 所 有 方法 的 区 间 覆 盖 率 都 达到 了 预 设 定 的 名 义 水 平 . 值得 注意 的 是 在 不 同 权重 
oS 准则 下 , 区 间 的 覆盖 率 和 平均 长 度 是 一 样 的 , 这 说 明 D] 的 置信 区 间 构造 方法 不 受权 
一 重 影响 ,只 需 权重 之 和 为 1. 这 些 模拟 结果 支持 了 我 们 的 结论 ， 


6 总 结 


现 有 关于 模型 平均 渐 近 分 布 理 论 的 研究 成 果 基 本 上 是 基于 局 部 误 设 定 的 假 
设 , 参数 与 样本 量 有 关 且 随 样本 量 增 大 而 变 得 非常 小 . 鉴于 此 假设 的 非 真 实 性 , 我 
们 希望 去 除 这 种 假设 , 研究 在 一 般 固定 参数 设 定 下 , 模型 平均 估计 的 统计 推断 . 本 
文 在 一 般 固定 参数 设置 下 , 对 于 线性 回归 模型 且 误 差 项 服从 正 态 分 布 , 我 们 证 明了 
[1] 中 的 置信 区 间 构 造 方法 对 不 确定 参数 的 线性 函数 仍然 有 效 . 换 句 话说 , 尽管 [1 
的 渐 近 分 布 理论 在 一 般 参 数 设 定 下 无 法 证 实 , 但 是 在 上 述 特殊 情况 下 , 不 确定 参数 
的 线性 函数 的 置信 区 间 履 盖 率 可 达到 预 设 定 的 名 义 水 平 . 

在 一 般 固定 参数 设置 下 , 研究 模型 平均 估计 量 的 统计 推断 问题 意义 非 几 . 未 来 
我 们 可 以 研究 , 在 线性 回归 模型 下 , 当 误 差 项 来 自 于 其 他 分 布 时 , [1] 中 的 置信 区 间 
构造 方法 . 也 可 以 推导 基于 其 他 权重 选择 准则 的 模型 平均 估计 的 渐 近 分 布 理论 


[1] Hjort N L, Claeskens G. Frequentist model average estimators. Journal of the American Statistical 
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[2] Raftery A E, Zheng Y. Discussion: Performance of Bayesian Model Averaging. Journal of the 
American Statistical Association, 2003, 98(1): 931-938. 


201910.00074v1 


chinaXiv 


10 chinaXiv:xx.xx x 

3 Hoeting J A, Madigan D, Raftery A E, Volinsky C T. Bayesian model averaging: a tutorial. 
Statistical Science, 1999, 14(4): 382—401. 

4 Claeskens G, Hjort N L. Model Selection and Model Averaging. Cambridge: Cambridge Univer- 
sity Press, 2008. 

5 Liu C A. Distribution theory of the least squares averaging estimator. Journal of Econometrics, 
2015, 186(1): 142-159. 

6 Leung G, Barron A R. Information theory and mixing least-squares regressions. IEEE Transac- 
tions on Information Theory, 2006, 52(8): 3396-3410. 

7 Potscher, Benedikt M. The Distribution of Model Averaging Estimators and an Impossibility 
Result regarding Its Estimation. Lecture Notes-Monograph Series, 2006, 52: 113-129. 

8 Hansen B E. Averaging Estimators for Regressions with a Possible Structural Break. Econometric 
Theory, 2009, 25(6): 1498-1514.. 

9 Hansen B E. Averaging estimators for autoregressions with a near unit root. Journal of Econo- 
metrics, 2010, 158(1): 142-155. 

10] AA, AEE. 半 参 数 模型 平均 估计 的 渐 近 理论 . 中 国 科 学 :数学 , 2018, v.48(8): 31019-1052. 
(Zhu R, Zou G H. The asymptotic theory for model averaging in general semiparametric models 
(in Chinese). Sci Sin Math, 2018, 48(8): 1019-1052) 

11] Zhang X Y, Liu C A. Inference after Model Averaging in Linear Regression Models. Social Science 
Electronic Publishing, 2017. 

12] Mitra P, Lian H, Mitra R,Liang H, Xie M G. A general framework for frequentist model averaging. 
Science China Mathematics, 2019, 62(2): 205-226. 

13] Ferguson T S. A Course in Large Sample Theory. London: Chapman and Hall, 1996. 

14] Hansen B E. Least squares model averaging. Econometrica, 2007, 75(4): 1175-1189. 


x 王 苗 苗 : 线性 模型 平均 估计 的 置信 区 间 11 
附录 
引 理 1 的 证 明 
在 线性 回归 模型 下 , 当 误 差 项 服从 正 态 分 布 时 , 我 们 有 
plogi Ait) 7 一 十 (一 ii + £i T Bozi + zi (Yo +6’ ) zi) 
logf (ye,00lhs) — 4 (-yizi + 27 (yo + 8 Ra + x} Bozi) 
B -4 (-yizi + z; T Bows + 2; yoxi) J -4zi fri 
i ae = eee 
ologf Ed ng) [Pi 
i sd 2 j ) 五 mi / 
= a 6 
alogf (vy, (ea vd)” hi) -zizi 
oy 
以 及 
2 T TAT 
Ologf (yi,90|hi) 1 vie, xiz? = 0 log/ (us (Bo W ) |r) (6.8) 
30007 o? | ziot ziz? l l 


00T 


Ziti ZiZi 


= T 
X; Ologf (u. (88n vss ) In) J ds, 二 0, 将 


要 T 
n Ologf (v (83, Ess ) in) 
00s,, 


i=l 


在 Oo 处 Taylor 展开 , 得 


"E 点 Z [alogj (yi, Oo|hi) 
D0s， 


305,008. 06s,, OY Se 


(ens w (DE) [hi] Plows (ys, (BE a) 


T 
(( Bs,, — Bo) a — Y0,Sm)” 0”) | 


Plot (ys, (BE WB) |i) 
ðs, OYT 


> = Ts 
7 3 doef (uu Bolhi) ，9 sy (us (AB 78)” | 
Vn 00s,,, 005,005, 


A 人 T = 
i (Bs, a Bo) (Vm ~~ Yo,sm ) ) ðs Oy? 


321 A Br ar T h; 
ogf (y ( 0 40 ) | a], 


3 T 
上 中 (BF 4a)" 位 于 Oo 和 (65... vds, ) 之 间 . 因此 


Vi (Bs, — Bo) 


Vn (Fsm — 0.8m) 


n ?logf (yi, (BE, 4E)" |h; 
1 gJ \y 
_ > ( ) 


一 工 


n 00s, 005 


iA, 
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, 1 Nalogj (yi, Bo|h:) 
vn £ > i 005,077 


1 
‘=i 00s,, n 


| 1 tel ADT) 


7 O21 f (2) BE 4a)" |hi 
og (v (63,40) | P 


{=l 


n a 00s,, 307 


n oih n Plogf (yi (ÖF, 4E)" |h: 
Ologf (yı, Ao|hi) ,1 ( (60,70) | P . (6.9) 


1 
ae £ 2 Tm 30 on Osm OYT 


i=l w=1 


再 由 (6.8), 可 得 


1 sh Ologf (yi, Bolles) \ > ($ Ei logf (ys, Bol hs) /08 
ZB 00 | | 


= ) = avn) e ( ) ~ N (0, Jrunln), 
n i=1 


Zi 


1 ey Poss (v (65,48) hi) 1 g Plogs (vi (88,0) |h) 
n > 00s, OOF, n 2 00s, 005 


党 i T 
ie Ologf (ui. (80,70 ) lm 5' 二 -rizi S= Jorja 5’ 611 
n 2 00s,,, OYT 一 ; d E ( i ) 


以 及 


1 <> Ologf (yi, Bolhi) | $271 Ologf (yi, Bolhi) /OB 
aly m | wm Ca Ologf i ee 


Mn 
ae (an ~N (0, Js) . (6.12) 


AI JE, 将 (6.10)-(6.12) 代入 (6.9), 可 得 


Bs,, — j Mn 
a T a | | ad + (6.13) 
Vim — Y0, Sm Pma Ng 


va( Bs — Bo -sa ( Joia ) va ~N (0, Jia) : (6.14) 


Vm 一 YO,Sm DnJiH 


以 及 


引 理 2 的 证 明 
3 T 
记 55, = (Shr Sle ay) 和 dse = (6% … slaa) . 将 fim 在 Oo 处 Taylor 展开 得 


i1? tkm=41+1? Lg2 


fim u (65) = SGO) (6s, Bo) | {Te} Gen be ere 
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A T A 

Bsm — Bo a2p(B0) 2? u(8) Bsm — Bo 

一 if if d a 一 
+ | Psm — Yo,sm Op | Im (2 a | Tm | Sm —¥0,8m — sm |> 
-6 ayapT OYOYT _5’ 
mi Sm 
(6.15) 
万 aro 人 了 T 7 `: E 

其 中 Bo 位 于 Oo 和 (OF, AEn Visp) 之 间 . 类 似 于 (6.14) 的 证 明 , 可 得 

va( Psm — Bo ~N (0,55 hin) - (6.16) 


入 f 
Fsm — Y0.Sm — ÎS, 


a? 4(@o) 


LIE 


T 


1 


Bs, — Bo a? (80) 02 u(Bo) Cs — Bo 
a aBABL 08906~yT T 入 EN 
Fsm -2os — 65, | O (se TA Im | Fsm — V0, Sm 一 55， Op ( 
ble ayaBT 7677 一 6 人- 


将 (6.13) 代入 (6.15), 可 得 


T 
- Bn(00) T «, 8n(eo) F 
{Am — u (00)} 4 { o) 0 人 JS 


Vn 


T 
Bulo) i Ma 
aulo) Jonin + op(1) = Am + op(1). 


m 
IYS m Nn 


令 Wn = JOE M, + JYE Np. 由 [1] 中 引 理 3.3 的 证 明 , 同 理 可 得 


T 
nee J Jorja i On (Bo) g ô' 
On(00) Sm|H Deiat Oy 


OYSm, 


T we 
fa Vi (Bem - Bo) Jz! ( Jor Vas! 
a Vn (Fsm — Y0,Sm) ee Tm Stayz 


On(0 = m uM 
E aneo) JomIH lmlH Joja 5 On (80) 
一 Au(@0) yioml A jim Tm iln 本 oy 


OY Sm 
pw (°° Joya + JOET man) 6 
+ (20 (POME Joa + JEE Tma) 8 一 { 
{ae y soa Joni Ge = R) 5 


= wh (R a e 


以 及 


T 
On(0 
A ‘5B JZ! (o ) 
m = Ou(90) Sm|H m 
27 Sm | Nn 


On (00) 6 
oY 


n 


> a i P g 2 713 
/是 参数 y MR MRL, goyr 一 0 X ggr aport 以 及 gopr HF, Hif (6.16), 得 


2 
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2r (go) T JomIH .JolmlH Mn 
= (ates ee ee (i) 
VS ay: 
T FE 
_ {eee} (pre i, 4 jen) P fo) Ta ED pe) 
Op (80) \* ( - = = ðu (Bo) \* = 
= { pa (Soot Ma = goin Jos Ky Vn | tae KmlgTm Ks! Wr 
E 
o { ae \ aie, — wh KY? Vp Kg /2W,. 


Al, 我 们 可 得 到 类 似 于 [1] 中 引 理 3.3 的 结论 : 


Va [ {Fim — u (80)} — wh (Ia — KY ?Vn Ka?) 6 


ðu (80) |7 - - 
= { T Toot Ma — WH KG Vn Ka Wn + op(1). 


定理 1 的 证 明 
A Tay 为 qz 维 单位 矩阵 . 仿照 (6.9) 的 证 明 可 得 


Dy = Vn(Fru — Yo) 
= Jorja Mn 
= (Ois Ts) Pa 人 ja 人 )} 
11|H n 


Dn — vVnð' = JF M, + JUIEN, = Wr ~ N (0, Kn). 


注意 随机 向 量 Wna 和 Mn 是 独立 的 . 由 于 对 所 有 候选 模型 m, 随机 变量 wm (Dn) 和 fim 可 表示 成 同一 随 
机 向 量 (MI, NZ)” 的 函数 ,并且 wm (Dn) 是 Dn 的 连续 函数 , 从 而 


vn ({>- Wm (Dn) fim - »(@)) — wh fz» -enf Wm oo | wv] s) 


以 及 


_ [号 | co Mn — wH8(Wrn) + op(1) = A + op(1), 


在 局 部 误 设 定 假 


i 
faint 


其 中 (Wn) = K"? eS Wm (Wn) Hm } K- /2Wi,, 此 外 , 无 论 是 在 固定 参数 设 
设 下 , A 服从 均值 为 0 AFAA E WESS, 其 中 


y= (PL) Ja Hy ry 5(Wn) 
=| g DEFT WH Var n)wWH. 


推论 1 的 证 明 


定理 1 的 证 明 , 可 得 
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Hq 


Vin [B (w (Dn) — u (80) - wh {8' — 5 (5) }] — wE (Dn — nd") + wh {8 (Dn) — nd (8")} 
PH 


oi 
au(eo) LT 7-1 T 
{2} Toot Mn — wh Wn 


+t Op(1) = ZH + op(1), 
YH 


H ZH ~ N(0, 1). 
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表 1 在 线性 回归 模型 下 , 4 p= 0.5 时 , 95% 置信 区 间 的 覆盖 率 (CP(95)) MKE (Len(95)) 
(Table 1 Coverage Probability and Length of 95% confidence intervals (CP(95) and Len(95)): p = 0.5) 


o =0.5 gail o0=1.5 
n 方法 | By Y2 H By Y2 H bı Y2 H 
SAIC | 0.950 0.947 0.949 0.939 0.953 0.950 0.957 0.945 0.945 
CP(95) SBIC | 0.950 0.947 0.949 0.939 0.953 0.950 0.957 0.945 0.945 
MMA | 0.950 0.947 0.949 0.939 0.953 0.950 0.957 0.945 0.945 
SAIC | 0.3413 0.3809 0.6319 0.6828 0.7676 1.2721 1.0259 1.1409 1.9238 
Len(95) SBIC | 0.3413 0.3809 0.6319 0.6828 0.7676 1.2721 1.0259 1.1409 1.9238 
MMA | 0.3413 0.3809 0.6319 0.6828 0.7676 1.2721 1.0259 1.1409 1.9238 
SAIC | 0.945 0.958 0.954 0.956 0.951 0.958 0.959 0.941 0.936 
CP(95) SBIC | 0.945 0.958 0.954 0.956 0.951 0.958 0.959 0.941 0.936 
MMA | 0.945 0.958 0.954 0.956 0.951 0.958 0.959 0.941 0.936 


109 SAIC | 0.2322 0.2604 0.4350 0.4673 0.5233 0.8649 0.7008 0.7819 1.3102 
Len(95) SBIC | 0.2322 0.2604 0.4350 0.4673 0.5233 0.8649 0.7008 0.7819 1.3102 
MMA | 0.2322 0.2604 0.4350 0.4673 0.5233 0.8649 0.7008 0.7819 1.3102 

SAIC 0.956 0.956 0.952 0.951 0.962 0.957 0.952 0.953 0.954 

CP(95)  SBIC 0.956 0.956 0.952 0.951 0.962 0.957 0.952 0.953 0.954 

200 MMA | 0.956 0.956 0.952 0.951 0.962 0.957 0.952 0.953 0.954 


SAIC | 0.1622 0.1810 0.3031 0.3258 0.3629 0.6061 0.4867 0.5439 0.8947 
Len(95) SBIC | 0.1622 0.1810 0.3031 0.3258 0.3629 0.6061 0.4867 0.5439 0.8947 
MMA | 0.1622 0.1810 0.3031 0.3258 0.3629 0.6061 0.4867 0.5439 0.8947 


表 2 在 线性 回归 模型 下 , 4 p= 0.8 时 , 95% 置信 区 间 的 覆盖 率 (CP(95) MKE Len(95) 
(Table 2 Coverage Probability and Length of 95% confidence intervals (CP(95) and Len(95)): p = 0.8) 


o =0.5 g=1 o0=1.5 
n 方法 | Bi %2 u Bı oP u Ar 2 H 
SAIC | 0.954 0.960 0.939 0.937 0.960 0.952 0.945 0.937 0.944 
CP(95) SBIC | 0.954 0.960 0.939 0.937 0.960 0.952 0.945 0.937 0.944 
MMA | 0.954 0.960 0.939 0.937 0.960 0.952 0.945 0.937 0.944 


SAIC | 0.4933 0.6330 0.63 0.9886 1.2614 1.2691 1.4685 1.8644 1.8739 
Len(95) SBIC | 0.4933 0.6330 0.63 0.9886 1.2614 1.2691 1.4685 1.8644 1.8739 
MMA | 0.4933 0.6330 0.63 0.9886 1.2614 1.2691 1.4685 1.8644 1.8739 
SAIC 0.945 0.942 0.94 0.951 0.952 0.958 0.946 0.942 0.933 
CP(95) SBIC 0.945 0.942 0.94 0.951 0.952 0.958 0.946 0.942 0.933 


MMA | 0.945 0.942 0.94 0.951 0.952 0.958 0.946 0.942 0.933 


ne SAIC | 0.3366 0.4289 0.4342 0.6746 0.8630 0.8672 1.0138 1.2902 1.3169 
Len(95) SBIC | 0.3366 0.4289 0.4342 0.6746 0.8630 0.8672 1.0138 1.2902 1.3169 
MMA | 0.3366 0.4289 0.4342 0.6746 0.8630 0.8672 1.0138 1.2902 1.3169 

SAIC | 0.954 0.946 0.94 0.944 0.948 0.943 0.956 0.952 0.950 

CP(95) SBIC | 0.954 0.946 0.94 0.944 0.948 0.943 0.956 0.952 0.950 

00 MMA | 0.954 0.946 0.94 0.944 0.948 0.943 0.956 0.952 0.950 


SAIC | 0.2353 0.3006 0.30 
Len(95) SBIC | 0.2353 0.3006 0.30 
MMA | 0.2353 0.3006 0.30 


0.4674 0.5982 0.6045 0.7047 0.8973 0.8968 
0.4674 0.5982 0.6045 0.7047 0.8973 0.8968 
0.4674 0.5982 0.6045 0.7047 0.8973 0.8968 


NNN WwW LD nn mm mM N N 


